Realtime-Venus: A full-duplex interaction system with asynchronous delegation
Realtime-Venus：支持异步委派的全双工实时交互系统
🧭 全双工语音/多模态 Agent 异步委派
Venus Team, Ant Group · Tsinghua University
双 9B 模型全双工交互系统，前台实时对话与后台异步工具执行协同，音频/视频基准超越 GPT-4o 等在线模型
📌 工作参考价值（4 点）
- 双循环异步委派架构值得借鉴：将前台低延迟语音/视觉交互与后台工具执行（如订单查询、库存检查、推荐 API 调用）解耦，高响应实时对话不因长尾任务阻塞，适合电商导购 Agent。
- 共享因果时间线统一用户输入、模型输出与委派事件，能有效管理多轮对话中的打断/重叠语音，提升全双工体验；可迁移到实时语音推荐场景，避免状态错乱。
- 后训练阶段加入主动全双工轨迹和委派工作流，可提高模型在真实对话中的主动性和工具调用协同；对于需主动推送商品/优惠信息的对话式推荐系统有参考价值。
- 两个 9B 模型分别优化音视频与纯语音，按场景拆分部署，减少模态冗余并降低推理成本；可借鉴为电商视频/语音客服分别训练轻量前端模型。